OpenAI y DeepMind difieren en sus puntos de vista y métodos en la investigación de las leyes de escalamiento. Las leyes de escalamiento pueden predecir los cambios en la pérdida de los modelos grandes con variaciones en la cantidad de parámetros, datos y cómputo. La competencia impulsará el desarrollo de la inteligencia artificial y la configuración del futuro de la coexistencia entre humanos y máquinas. El preentrenamiento de los modelos lingüísticos grandes implica una compensación entre el tamaño del modelo, la cantidad de datos y el coste de formación. Las leyes de escalamiento pueden ayudar a optimizar las decisiones de diseño. DeepMind propone que el tamaño del modelo y la cantidad de datos deben ajustarse...